前言Flink有非常灵活的分层API设计，其中的核心层就是DataStream/DataSetAPI。由于新版本已经实现了流批一体，DataSetAPI将被弃用，官方推荐统一使用DataStreamAPI处理流数据和批数据。DataStream（数据流）本身是Flink中一个用来表示数据集合的类（Class），我们编写的Flink代码其实就是基于这种数据类型的处理，所以这套核心API就以DataStream命名。对于批处理和流处理，我们都可以用这同一套API来实现。一个Flink程序，其实就是对DataStream的各种转换。具体来说，代码基本上都由以下几部分构成：获取执行环境（executi
文章目录SQL的滑动窗口（HOP）SQL的滑动窗口（HOP）滑动窗口定义：滑动窗口也是将元素指定给固定长度的窗口。与滚动窗口功能一样，也有窗口大小的概念。不一样的地方在于，滑动窗口有另一个参数控制窗口计算的频率（滑动窗口滑动的步长）。因此，如果滑动的步长小于窗口大小，则滑动窗口之间每个窗口是可以重叠。在这种情况下，一条数据就会分配到多个窗口当中。举例，有10分钟大小的窗口，滑动步长为5分钟。这样，每5分钟会划分一次窗口，这个窗口包含的数据是过去10分钟内的数据，如下图所示。
Windows（窗口）Windows是流计算的核心。Windows将流分成有限大小的“buckets”，我们可以在其上应用聚合计算（ProcessWindowFunction，ReduceFunction，AggregateFunction或FoldFunction）等。在Flink中编写一个窗口计算的基本结构如下：KeyedWindowsstream.keyBy(...).window(...)-必须制定:窗口类型[.trigger(...)]-可选:"trigger"(都有默认触发器)，决定窗口什么时候触发[.evictor(...)]-可选:"evictor"(默认没有剔出)，剔出窗口中
Flink检查点配置启用检查点检查点存储通用增量最终检查点配置建议启用检查点开启自动保存快照(默认：关闭)：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();//每隔1秒启动一次检查点保存env.enableCheckpointing(1000);间隔调整:对性能的影响更小，就调大间隔时间为了更好的容错性，就以调小间隔时间检查点存储检查点存储(CheckpointStorage):持久化存储位置JobManager的堆内存(JobManagerCheckpointStorage)
学习多线程的时候会遇到一个名词：并发。这是属于操作系统中的词汇，需要了解并发和并行的区别，从网上搜集了几种说法帮助理解。一：并发是指一个处理器同时处理多个任务。并行是指多个处理器或者是多核的处理器同时处理多个不同的任务。并发是逻辑上的同时发生（simultaneous），而并行是物理上的同时发生。来个比喻：并发是一个人同时吃三个馒头，而并行是三个人同时吃三个馒头。二：并行(parallel)：指在同一时刻，有多条指令在多个处理器上同时执行。就好像两个人各拿一把铁锨在挖坑，一小时后，每人一个大坑。所以无论从微观还是从宏观来看，二者都是一起执行的。f9fa4fab6ea040cd9bd19f9e7
本系列包含：【大数据】Flink详解（一）：基础篇【大数据】Flink详解（二）：核心篇Ⅰ【大数据】Flink详解（三）：核心篇Ⅱ【大数据】Flink详解（四）：核心篇Ⅲ【大数据】Flink详解（五）：核心篇Ⅳ【大数据】Flink详解（六）：源码篇ⅠFlink详解（六）：源码篇Ⅰ55、Flink作业的提交流程？56、Flink作业提交分为几种方式？57、FlinkJobGraph是在什么时候生成的？58、那在JobGraph提交集群之前都经历哪些过程？59、看你提到PipeExecutor，它有哪些实现类？60、Local提交模式有啥特点，怎么实现的？61、远程提交模式都有哪些？62、Stan
文章目录SQL的时间属性一、Flink三种时间属性简介
Flink使用介绍相关文档目录Flink使用介绍相关文档目录前言Flink作业提交的时候会遇到任务无法提交，或者是长时间处于ACCEPTED状态。此时需要重点排查Yarn的资源的相关配置。本篇为大家带来FlinkonYarn资源问题的排查思路。典型报错FlinkonYarn程序提交的时候如果资源不足，JobManager会出现类似如下的错误：java.util.concurrent.CompletionException:org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:Slotrequestb
在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而Kafka从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了Flink作为生产者像Kafka写入数据的方式和代码实现。这一课时我们将从以下几个方面介绍Flink消费Kafka中的数据方式和源码实现。Flink如何消费KafkaFlink在和Kafka对接的过程中，跟Kafka的版本是强相关的。上一课时也提到了，我们在使用Kafka连接器时需要引用相对应的Jar包依赖，对于某些连接器比如Kafka是有版本要求的，一定要去官方网站找到对应的依赖版本。我们本地的Kafka版本是2.1.0，所以需要对应的类是
多线程编程和并行计算的实例:期货交易及打车软件算法解决现实生活中的问题时，多处理器和多核系统的普及使并行计算成为一个关键的性能提升手段。在这篇博客中，我们将通过深入讨论两个引人入胜而又具有实际意义的场景——期货交易和打车匹配算法，来展示并行计算如何在实际问题中为我们带来显著优势。期货交易与多线程编程期货交易概念：期货交易是一种金融交易，涉及到双方通过交易所买卖未来交付的资产或者现金结算的合约。期货合约是一种标准化合约，规定了一定数量和品质的资产在未来某一时间以约定价格交付。交易的对象可以是各种商品（如农产品、矿产、石油）或者金融工具（如货币、债券、指数）。期货合约为交易双方提供了降低价格波动风
